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Introducing Transformers 


Introducing Transformers 


Introducing Transformers: КоВЕКТа 


Ж Архитектура - очень глубокая (10-100м+) сеть с 
квадратичным механизмом self-attention 
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Предобученные модели 


В открытом доступе есть модели на русском 


9 Подходят для большинства МІР-задач 
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Специфика почты (и спама!) слишком специфична 
9 Специфичный поток текстов – сложно назвать 


русским языком 
Специфичное внутреннее представление 


Как результат – готовые сложные модели 
доставляют качество на уровне собственных 
моделей меньшей сложности 
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Кастомизация 


Ф Адресуем нужные продукту проблемы 
9 Выборка из сервиса и выбор функции потерь 
9 Трейд-офф качества - производительности 


® Архитектура и параметры модели (i.e. attention 
heads, transformer |ауег5, embedding size) 


9 Безопасность - у спамеров нет доступа к той 
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Челлендж из челленджей 


9 Инфраструктура для сбора выборки- большие 


модели needs more data (10М+ текстов) 


Инфраструктура для обучения – большие модели 
needs more СРО (8+ (16+, 32+, ...) GPU), Network 
(20+ Гб канал) 


Инфраструктура дла инференса – нужна вне 
зависимости от свой/чужой 
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Обучающая выборка 


Помним главное - обобщаемость Опѕирегуіѕед-модели на все типы спама 


9 Оссат Кагог- собрать как можно больше 
разнообразных даннь с потока 


© Семплирование с потока по распределению 
вероятностей 


Ф Безостановочно - много дубликатов 
ограничивают скорость сбора 


Ф Анонимизация такого корпуса текстов становится 
тапааїогу-фичей безопасности 
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Сужаем воронку подходов локальными МУР 


ы Прорежаем список 5ОТА-подходов сообщества на 
соответствие целям задачи 


9 Обучение нескольких эпох на меньшем объеме данных 
9 Python деу-стенд для оценки инференса архитектуры 


9 Python вызываеттот же libtorch.predict, что и 
плюсовый ргодисНоп-сервис 


9 Я.Танк + Тогсћбегме для имитации нагрузки 
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МІ Кезеагсй: критерии вьбора 


Важно выбрать пул локальных критериев 


Ф Качественнье метрики 


YOUR R-SQUARED 


Extrinsic- и іпігіпсіс-оценки 
9 На репрезентативньхх ехїігіпѕіс-задачах (например, 
текущих їтїепї-выборнах) 


• Технические метрики 
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Обучение 


® Простой подход - выбрать машину с побольше 
GPU (например 8 х 2080 Ті, или А100 :) 


9 Но ограничены 1 машиной - немасштабируемая 


история 


9 Неизбежно построение СРО-кластера - отдельная 
большая логическая и техническая задача 
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9 Отдельный инференс-сервис в К85, 1 под 1 ери 


9 ответ нужен в онлайне = минимальный бюджет на 


latency 


® Оптимизация алгоритмов токенизации (і.е. 


бет епсеРїесе) 


9 базовая логика O(N?) разгоняется до О(МодМ), если 


подумать 
9 SLA 99.99 оказался достижимой мечтой 
9 Очередь + таймаут на вставку + ретрай = утилизация 


GPU до 80% 
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Как зтим пользоваться 


9 Трансформер генерирует универсальный глубокий 
змбеддинг письма 


4 Сверху обучается микроголова под нужный іпіепі 
9 Несколько слоев (РЕМ) или даже один (линейная) 


9 Supervised – на размеченной выборке сильно 
меньшего объема 
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МІ-зксплуатация 


9 Трансформер - монолит, но вносить изменения 


нужно редко (геїгат с нуля или finetune) 
9 Intent головы - зксплуатировать привычно 


9 Дообучение (Япекипе) с регуляризацией типа 
Knowledge Distillation ACTION EFFECT 


9 Новые паттерны через Feedback Loop 


Ф ДеплойчерезА/В-тесты НЕЕОВАСК 
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Ф СРИ-Сервис 
9 Трансформер 
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? СРЏ-Сервис AVIDIA. Q 


9 Intent-ronoBbi 


9 Multiple inference на письмо 
© По количеству іпіепі-моделей 


9 Қоторые еще и А/В-тестируются 
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